Sonic Aquarium

Sonic Aquarium -Resonanced-

https://lh3.googleusercontent.com/pw/ABLVV85SXEebsBMT6ZhbWrYQiIXeDaIbTlJdfR2Fgc4yOkOsBxxoe-Dmd20z1FWqGRSDdVBPbwrgU2F0cjQfE31AokEZt8J_YwXDSEzVGbxM__-0cSs2N5dauwnDV5RCIOJphzg82pb9xMIxn9u1xY9kCuDObw=w959-h270-s-no-gm?authuser=0#.jpg

https://youtu.be/fWhbtSgltVc

Caption

《Sonic Aquarium -Resonance-》 は、魚と人間との音を使ったコミュニケーション・インタラクションを行うインスタレーション作品である。

魚の鑑賞方法は視覚に限定されていて、鑑賞する際は水槽を介する場合多く、魚の動きを一方的に眺めることが多い。そこで私たちは、人間が魚に介入し視覚だけではなく聴覚でも鑑賞できる仕組みを作り、それを使って音楽演奏をしたいと考えた。

このプロジェクトでは、魚類の中でも金魚を起用する。金魚は、内耳と側線という器官が発達しており、高い聴覚能力を持っている。私たちはこの聴覚能力を応用してどのような音が金魚を刺激させるのかを検証・選定し、その音を使ったインタラクションを設計する。

金魚の水槽中の動きを深層学習による物体認識モデルのYOLO v5用いて推定し、それをパフォーマンス空間にレーザーを使って示し、それをパフォーマーが追いかけて近づくと、水槽中の水中スピーカーから金魚を刺激する音が鳴り、金魚が刺激される。パフォーマンス空間に配置されたスピーカーから刺激された金魚の動きに応じて音が鳴る。このように金魚とパフォーマーは追う・逃げるというコミュニケーションから生成されるサウンドを変化させることで演奏となる。

演奏の音は金魚の位置・どの程度刺激されたか、そしてパフォーマーとの距離によって変化する。金魚の位置はパフォーマンス空間のサラウンド環境の定位に同期している。これにより金魚の動きを音で感じやすくなる。刺激の程度が大きいほどリズムは速くなる、金魚とパフォーマーの距離が小さいほど音量は大きく、音色は様々なエフェクトが作用し、音が重ねられ豊かになっていく。

Sonic Aquarium -Resonance- is an installation piece that explores audio-based communication and interaction between fish and humans.

Typically, the way we observe fish is limited to visual perception, often through an aquarium, where we passively watch their movements. With this project, we aimed to create a setup that allows humans to interact with fish not only visually but also aurally, enabling a musical performance.

In this project, we focus on goldfish, a species with well-developed auditory capabilities due to their specialized organs, the inner ear and lateral line. We investigate and select sounds that can stimulate goldfish based on their auditory abilities, then design interactions using those sounds.

The movements of the goldfish within the aquarium are detected using YOLO v5, a deep learning object recognition model, which then projects laser signals onto the performance space to indicate their positions. As performers follow and approach the projected positions, sounds that stimulate the goldfish are played through underwater speakers in the tank, causing reactions from the goldfish. In response to the fish’s stimulated movements, speakers placed in the performance space emit sounds. This interaction, where the goldfish and performers engage in a chase-and-escape dynamic, generates and shapes the musical performance.

The sounds of the performance change based on the fish's position, the degree of stimulation, and the distance between the fish and the performer. The position of the goldfish is synchronized with the surround environment of the performance space, enhancing the auditory perception of the fish's movements. Greater stimulation results in a faster rhythm, while closer proximity between the fish and the performer increases volume and applies various effects to enrich the timbre, layering the sound to create a more complex audio experience.

Sonic Aquarium

https://youtu.be/7j8HI5-rkBw

Caption

家庭での水槽や水族館の水槽の中で鳴っている音は鑑賞者には届かない．また，水槽の中にいる生き物には鳴き声など人間の耳によく聴こえる音を発するものは少なく，水槽から直接鑑賞者に届く音情報は非常に少ない．そのため家庭や水族館の水槽では視覚に重きを置いた鑑賞体験に限定されている場合が多い．そこで，《Sonic Aquarium》は，水槽の中の金魚の動きから音を生成し，水槽の中と音が同期された，聴覚から水槽を鑑賞できる仕組みとなっている．また，金魚とその動きから生成された音の関わりを映像で可視化することで，聴覚･視覚で楽しめるような新しい鑑賞体験を提示する．

加えて，金魚は音を認知することができ，音を聞き分けたり，音に敏感であるという特徴を活かし，特定の楽器を金魚に学習させた．それにより，鑑賞者が楽器を水槽の近くで演奏することで，その楽器の音に反応して金魚は普段の動きより激しい動きになったり，その音に誘導されるような動きをし，そこから音を生成し，人間と魚のセッションを行う．それにより鑑賞者と金魚の新たなインタラクションを図る．また，楽器の音に反応した金魚の動きはより優美に見え，これは視覚にも強い影響を与える．

In home aquariums and public aquariums, the sounds within the tank are not audible to the viewer. Furthermore, few creatures in aquariums emit sounds that are easily heard by human ears, such as vocalizations, meaning that there is very little auditory information directly accessible to viewers from the tank. As a result, the viewing experience in home and public aquariums is often limited to visual observation. Sonic Aquarium addresses this by generating sounds based on the movements of goldfish within the tank, creating an experience where the sounds are synchronized with the activities inside the aquarium, allowing viewers to engage with the aquarium through auditory perception. Additionally, the connection between the goldfish and the sounds generated from their movements is visualized, offering a new viewing experience that can be enjoyed both audibly and visually.

Furthermore, goldfish have the ability to perceive sound, distinguish between different sounds, and are sensitive to auditory stimuli. Leveraging this trait, we trained the goldfish to recognize specific instruments. As a result, when a viewer plays an instrument near the tank, the goldfish respond to the instrument's sound with more intense movements than usual, or they may move as if guided by the sound. This interaction generates sound, creating a human-fish session. This allows for a new interaction between the viewer and the goldfish. The movements of the goldfish in response to the instrument’s sound also appear more graceful, thereby enhancing the visual experience as well.

Credit

Ayaka Sakakibara

Sound Design

Santa Naruse

Visual Programming / System Programming

Exhibition/Events

Award

ISCA INTERNATIONAL STUDENTS CREATIVE AWARD 2022 デジタルコンテンツ部門 入選